CRIM: Composable and Reusable Item Memory for Efficient Personalized Retrieval
可组合可复用物品记忆的高效个性化检索
🧭 LLM 高效个性化检索 · 物品记忆压缩 ★ 深度解读
Tsinghua University · Alibaba International Digital Commerce Group
将物品语义编码与请求历史建模分离，用可学习摘要token压缩物品为连续记忆，结合缓存与采样重编码大幅降低LLM检索成本
📌 工作参考价值（4 点）
- 物品级记忆缓存替代每次请求重复编码：在电商搜索/推荐中，同一商品会在大量用户历史中反复出现。可以离线用可学习 summary tokens 把商品文本压缩成少量连续向量（如4个/dim 2560），在线只做请求级组合，推理输入长度可降80%以上，延迟降低4倍。
- 用 REC tokens 引入段内预测监督：在用户历史里每 b=4 个商品插入一个共享 readout token，预测下一段首商品。这个中间监督能让前缀表征学会“未来交互”信息，比只靠最终检索损失提升 Recall@100 达3.7个百分点，适合迁移到长序列行为建模。
- 联合训练采用“缓存+采样重编码”控制梯度成本：训练时随机采样少量历史位置用当前 encoder 重算，其余位置直接读缓存并 stop-gradient。这样既让 item encoder 能接收检索梯度更新，又避免全量历史重编码，训练成本与历史长度解耦。电商长历史场景可直接复用，每请求只重编码 κ=4~8 个商品。
- 定期刷新缓存而非实时更新：epoch 结束后重建 item memory 和 candidate cache，平衡表征新鲜度与计算开销。线上部署时可结合模型更新周期做异步刷新，避免每次推理都重算商品表征。